Vinson sinh ra ở hạt Baldwin, Georgia, tham dự Đại học Quân sự Georgia, và tốt nghiệp bằng luật pháp từ Đại học Mercer năm 1902. Ông được bầu vào Hạ viện Georgia vào năm 1908. Sau khi mất nhiệm kỳ thứ ba sau khi tái phân chia khu, ông được bổ nhiệm làm thẩm phán của tòa án Quận Baldwin, nhưng sau cái chết đột ngột của Thượng nghị sĩ Augustus Bacon, Hạ nghị sỹ Thomas W. Hardwick của Georgia khu vực bầu cử số 10 của Quốc hội được bổ nhiệm vào ghế Thượng viện của ông Bacon và ông Vinson tuyên bố ứng cử của ông cho ghế của Hardwick trong Quốc hội. Vinson đã giành chiến thắng trước ba đối thủ. Ông là thành viên trẻ nhất của Quốc hội (30 tuổi) khi ông tuyên thệ vào ngày 3 tháng 11 năm 1914.Ông được đặt tên cho siêu tàu sân bay USS Carl Vinson.